Năm 1885, hưởng ứng chiếu Cần Vương của vua Hàm Nghi, ông bỏ quan về quê cùng với Hoàng Bật Đạt mộ quân khởi nghĩa. Giữa năm 1886 ông được cử cùng với Hoàng Bật Đạt, Đinh Công Tráng và một số tướng lĩnh khác xây dựng căn cứ Ba Đình nhằm bảo vệ cửa ngõ miền Trung Việt Nam và làm bàn đạp đánh địch ở đồng bằng. Căn cứ Ba Đình thuộc địa phận huyện Nga Sơn (Thanh Hoá). Sở dĩ gọi là Ba Đình vì nơi đây gồm 3 làng: Mỹ Khê, Thượng Thọ, Mậu Thịnh ở liền nhau, mỗi làng có một ngôi đình, đứng ở làng này sẽ nhìn thấy đình ở hai làng bên và có một ngôi nghè chung, Lập căn cứ Ba Đình nghĩa quân có thể kiểm soát và khống chế đường số 1(là con đường đi yết hầu của địch từ Bắc vào Nam), hơn thế nữa địa thế nơi đây rất thuận lợi cho việc xây dựng một căn cứ phòng ngự kiên cố và từ đó nghĩa quân có thể toả ra ngăn chặn những hoạt động của địch ở khu vực giữa Ninh Bình và Thanh Hóa.

Sau những thất bại nặng nề ở Ba Đình, thực dân Pháp chủ trương tập trung đủ mọi binh chủng, có pháo binh yểm trợ đã tiến hành bao vây và mở nhiều đợt tấn công mới hạ nổi được Ba Đình.

Mặc dù tuổi già sức yếu (lúc này ông đã 60 tuổi) nhưng Phạm Bành luôn có mặt ở trận địa, nơi nguy hiểm nhất để động viên và khích lệ các nghĩa binh chiến đấu.

Sau khi Ba Đình thất thủ, ông đưa nghĩa quân rút về căn cứ dự phòng ở Mã Cao (huyện Yên Định) ngay đêm 20 tháng 2 năm 1887, rồi lánh về quê. Nhưng sau để cứu mẹ già và con là Phạm Tiêu bị quân Pháp bắt làm con tin, ông đã ra đầu thú và uống thuốc độc tự tử ngay sau khi mẹ và con được thả ngày 18 tháng 3 năm Đinh Hợi (tức ngày 11 tháng 4 năm 1887) để tỏ rõ khí tiết của mình.

Tên của ông được vinh danh đặt cho một con đường ở quận Bình Tân (Tp.Hồ Chí Minh), một tuyến phố ở Tp.Thanh Hóa, một tuyến phố ở Tx.Sầm Sơn (Thanh Hóa) và một tuyến phố ở thị trấn nhỏ Hậu Lộc quê ông.

Về văn thơ, ông có để lại một bài thơ nhan đề Ký hữu.